我们建议使用预测来加速最大流量计算的框架。一个预测是流动，即，将非负流量值分配到边缘，它满足了流量保护属性，但不一定尊重实际实例的边缘能力（因为这些在学习时是未知的）。我们提出了一种算法，在给定$ m $ - 边缘流网络和预测流量时，计算$ O（m \ eta）$时间的最大流量，其中$ \ eta $是$ \ ell_1 $ ，即预测流量和最佳流量值之间绝对差的边缘的总和。此外，我们证明，如果Oracle访问流量网络的发行版，则可以有效地将PAC-LEARN的预测最小化，以最大程度地减少该分发上预期的$ \ ell_1 $错误。我们的结果符合最近有关学习增强算法的研究系列，该算法旨在通过使用预测（例如，从以前的类似实例中获得的机器学习）来改善经典算法的最坏情况。到目前为止，该领域的主要重点是提高在线问题的竞争比率。跟随Dinitz等。 （Neurips 2021），我们的结果是改善离线问题运行时间的首先。
translated by 谷歌翻译
Large language models (LLMs) have demonstrated strong performance in zero-shot reasoning tasks, including abductive reasoning. This is reflected in their ability to perform well on current benchmarks in this area. However, to truly test the limits of LLMs in abductive reasoning, a more challenging benchmark is needed. In this paper, we present such a benchmark, consisting of 191 long-form mystery stories, each approximately 1200 words in length and presented in the form of detective puzzles. Each puzzle includes a multiple-choice question for evaluation sourced from the "5 Minute Mystery" platform. Our results show that state-of-the-art GPT models perform significantly worse than human solvers on this benchmark, with an accuracy of 28\% compared to 47\% for humans. This indicates that there is still a significant gap in the abductive reasoning abilities of LLMs and highlights the need for further research in this area. Our work provides a challenging benchmark for future studies on reasoning in language models and contributes to a better understanding of the limits of LLMs' abilities.
translated by 谷歌翻译
2022-12-04
Related works used indexes like CKA and variants of CCA to measure the similarity of cross-lingual representations in multilingual language models. In this paper, we argue that assumptions of CKA/CCA align poorly with one of the motivating goals of cross-lingual learning analysis, i.e., explaining zero-shot cross-lingual transfer. We highlight what valuable aspects of cross-lingual similarity these indexes fail to capture and provide a motivating case study \textit{demonstrating the problem empirically}. Then, we introduce \textit{Average Neuron-Wise Correlation (ANC)} as a straightforward alternative that is exempt from the difficulties of CKA/CCA and is good specifically in a cross-lingual context. Finally, we use ANC to construct evidence that the previously introduced ``first align, then predict'' pattern takes place not only in masked language models (MLMs) but also in multilingual models with \textit{causal language modeling} objectives (CLMs). Moreover, we show that the pattern extends to the \textit{scaled versions} of the MLMs and CLMs (up to 85x original mBERT).\footnote{Our code is publicly available at \url{https://github.com/TartuNLP/xsim}}
translated by 谷歌翻译
生成流动网络（GFLOWNETS）是一种算法家族，用于训练在非均衡目标密度下离散对象的顺序采样器，并已成功用于各种概率建模任务。现有的Gflownets培训目标是国家本地的，或者是过渡的本地，或者在整个采样轨迹上传播奖励信号。我们认为，这些替代方案代表了梯度偏见变化权衡的相反目的，并提出了一种利用这种权衡以减轻其有害影响的方法。受到强化学习的TD（$ \ lambda $）算法的启发，我们介绍了一个subtrajectory Balance或subtb（$ \ lambda $），这是一个GFLOWNET培训目标，可以从不同长度的部分动作子序列中学习。我们表明，SubTB（$ \ lambda $）会在先前研究和新环境中加速采样器的收敛，并在具有更长的动作序列和比以前的可能性更长的环境中培训Gflownets。我们还对随机梯度动力学进行了比较分析，阐明了GFLOWNET训练中的偏差变化权衡以及亚条件平衡的优势。
translated by 谷歌翻译
对抗性补丁攻击是现实世界深度学习应用程序的新兴安全威胁。我们提出了戴定的平滑，这是第一种（符合我们的知识），以证明语义分割模型与此威胁模型的鲁棒性。以前关于防御补丁攻击的辩护的工作主要集中在图像分类任务上，并且经常需要更改模型体系结构和其他培训，而这些培训是不受欢迎且计算上昂贵的。在被删除的平滑度中，可以在没有特定培训，微调或限制体系结构的情况下应用任何分割模型。使用不同的掩盖策略，可以将拔掉的平滑措施应用于认证检测和认证恢复。在广泛的实验中，我们表明，在检测任务中，平均可以证明1％补丁的像素预测的64％，而在ADE20K数据集中恢复任务的0.5％贴片为48％。
translated by 谷歌翻译
我们介绍了两个块坐标下降算法，以解决使用普通微分方程（ODE）作为动态约束的优化问题。该算法无需实施直接或伴随的灵敏度分析方法来评估损失功能梯度。它们是由对原始问题重新制作的重新制作，作为与平等约束的等效优化问题。该算法自然遵循旨在根据ODE求解器恢复梯度定位算法的步骤，该算法明确解释了ODE溶液的灵敏度。在我们的第一个提出的算法中，我们避免通过将ODE求解器集成为隐式约束序列来明确求解ODE。在我们的第二个算法中，我们使用ODE求解器重置ODE解决方案，但没有直接使用伴随灵敏度分析方法。这两种算法都接受微型批量实施，并从基于GPU的并行化中显示出显着的效率优势。当应用于学习Cucker-Smale模型的参数时，我们演示了该算法的性能。将算法与基于具有敏感性分析能力的ODE求解器的梯度下降算法进行比较，使用Pytorch和JAX实现，具有各种状态数量的敏感性分析能力。实验结果表明，所提出的算法至少比Pytorch实现快4倍，并且比JAX实现快至少16倍。对于大版本的Cucker-Smale模型，JAX实现的速度比基于灵敏度分析的实现快数千倍。此外，我们的算法在培训和测试数据上都会产生更准确的结果。对于实施实时参数估计（例如诊断算法）的算法，计算效率的这种提高至关重要。
translated by 谷歌翻译
清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。
translated by 谷歌翻译
对于大型小分子的大型库，在考虑一系列疾病模型，测定条件和剂量范围时，详尽的组合化学筛选变得不可行。深度学习模型已实现了硅的最终技术，以预测协同得分。但是，药物组合的数据库对协同剂有偏见，这些结果不一定会概括分布不足。我们采用了使用深度学习模型的顺序模型优化搜索来快速发现与癌细胞系相比的协同药物组合，而与详尽的评估相比，筛查要少得多。在仅3轮ML引导的体外实验（包括校准圆圈）之后，我们发现，对高度协同组合进行了查询的一组药物对。进行了另外两轮ML引导实验，以确保趋势的可重复性。值得注意的是，我们重新发现药物组合后来证实将在临床试验中研究。此外，我们发现仅使用结构信息生成的药物嵌入开始反映作用机理。
translated by 谷歌翻译
紧凑的数据表示是改善学习功能的概括的一种方法。我们明确地说明了熵和基数之间的关系，包括紧凑性的措施，包括前者上的梯度下降如何减少后者。熵是分布敏感的，而基数则不是。我们提出了第三种紧凑性措施，这是两者之间的折衷：预期基数，或任何有限次数的独特状态，这比标准基数更有意义，因为它折扣了概率可忽略的概率质量。我们表明最小化熵也会最大限度地减少了预期的基数。
translated by 谷歌翻译
本文研究了采用有限字母信令的多输入多输出（MIMO）通信信道的线性预编码问题。由于昂贵的星座限制的相互信息，现有解决方案通常由于昂贵的计算而遭受高计算复杂性。与现有的作品相比，本文采取了解决MIMO预编码问题的不同路径。即，提出了一种基于深度学习的数据驱动方法。在离线训练阶段，深度神经网络在一组MIMO信道矩阵上了解最佳解决方案。这允许在在线推理阶段中降低预编码优化的计算复杂性。数值结果证明了所提出的解决方案Vis-\“A-Vis的效率”在显着降低的复杂性和近乎最佳性能方面的现有预编码算法。
translated by 谷歌翻译